Приведенное Вами выражение чаще записывается в современной графике — с буквой и. Кавычки в нем возникают под влиянием специальных текстов (в частности, лингвистических), в которых буквы принято выделять курсивом (так, например, в наших ответах). Однако курсив в названиях букв, записанных словом (бэ, вэ, же, твердый знак, фита, ижица, э оборотное, и десятеричное, и восьмеричное, и краткое, и), как и кавычки, избыточен. Приведем другие примеры фразеологизмов с названиями букв: на ять, писать (выделывать) мыслете, от аза до ижицы, от альфы до омеги, от а до я. Если во фразеологизме необходимо заменить и на i, то кавычки тем более не нужны: иная графика (латиница или вышедшие из употребления буквы кириллицы) — достаточное средство выделения.

Наша общая рекомендация — не выделять букву во фразеологизме ни курсивом, ни кавычками (см. также фиксацию фразеологизма и других названий букв в базе орфографического академического ресурса «Академос»). Но мы не можем не отметить, что иногда от общих рекомендаций приходится отступать под влиянием всего текста, его оформления, расположения на странице. Такие решения принимает редактор.

По правилам нужно.

В этом случае восклицательный знак замещает вставку и поэтому пишется в скобках. Соответственно, если восклицательный знак пишется в скобках внутри предложения, до и после скобок нужны пробелы: На остальных досках шахматисты одержали восемь (!) побед.